Năm 184, khởi nghĩa Khăn Vàng của Trương Giác nổi lên, Quan Vũ cùng Trương Phi theo Lưu Bị khởi binh dẹp quân khởi nghĩa. Trong quá trình dẹp Khăn Vàng, ông là cánh tay đắc lực của Lưu Bị. Tam quốc chí chép:

Tiên chủ cùng với hai người (Quan Vũ, Trương Phi) ngủ cùng giường, tình thân thiết như huynh đệ. Khi có việc công, hai người đứng hầu trọn ngày, mọi thứ đều do Tiên chủ chu toàn, chẳng tị hiềm gian khổ.

Sau đó Lưu Bị theo Công Tôn Toản làm Bình Nguyên tướng, bèn bổ nhiệm ông và Trương Phi làm Biệt hộ Tư mã, chia nhau thống lĩnh quân đội của Lưu Bị.

Năm 190, Viên Thiệu tập hợp chư hầu lập liên minh đánh Đổng Trác. Công Tôn Toản và Lưu Bị không tham gia.

Tam Quốc Diễn Nghĩa thêu dệt nên chuyện Quan Vũ tham gia hội minh, dễ dàng lập công chém Hoa Hùng. Đây chỉ là hư cấu của La Quán Trung, Hoa Hùng bị quân Tôn Kiên đánh bại và hành hình năm 191 tại Dương Nhân (陽人). Việc Quan Vũ cùng Trương Phi, Lưu Bị giao chiến với Lã Bố ở cửa ải Hổ Lao cũng hoàn toàn không có thật.